1) Из вершины А прямоугольника АВСD к его плоскости проведен перпендикуляр AE. Если точка E расположена на расстоянии 5дм, 11дм и 10дм от вершин B, C и D соответственно, найти длину перпендикуляра AE

Теорему косинусов проходили? Если да, то:
Больший угол, как верно сказано, против большей стороны - т.е. это угол В.
Для этой стороны выполняется соотношение по теореме косинусов:
AC^2 = AB^2 + BC^2 - 2*AB*BC*cosB.
Подставляем:
9^2 = 4^2 + 7^2 - 2*4*7*cosB
81 = 16 + 49 - 56*cosB
Переносим числа вправо, а неизвестные влево:
56*cosB = -16
cosB = -2/7
Таким образом, угол B можно выразить как арккосинус:
B = arccos (-2/7).
Также мы можем сказать (или посмотреть на единичную тригонометрическую окружность), что, раз косинус отрицателен, то угол B - тупой. То есть треугольник - тупоугольный.

К двум плоскостям, имеющим общую линию их пересечения ВС, перпендикулярная плоскость проходит по перпендикуляру к их линии пересечения. Основание пересекается по диаметру АОД (то есть через ось цилиндра, в который вписана призма).
а) Рассмотрим основание:
расстояние стороны ВС от диаметра равно к = √(8²-(12/2)²) = √64-36) =√28 = 2√7.
расстояние от точки А до стороны ВС равно 8-2√7.
В сечении будет прямоугольник с основанием 8-2√7 и высотой 24 (по высоте цилиндра и призмы.
б) Угол между заданными плоскостями α = arc tg ( 8-2√7)/24 = 
arc tg 0.112854 =  0.112379 радиан = 6.438818 градусов